Detailbeschreibung
Der Demonstrator zeigt eine vollständig lokal betriebene LLM-/RAG-Anwendung (Large Language Model mit Retrieval Augmented Generation) zur intelligenten Auswertung technischer Dokumentationen. Anwender können beliebige PDF-Dokumente in das System einlesen und anschließend über eine Chatoberfläche natürlichsprachliche Fragen zu den jeweiligen Inhalten stellen. Nach Auswahl eines Dokuments werden die relevanten Informationen über ein Embedding-Modell semantisch durchsucht und dem Sprachmodell als Kontext bereitgestellt. Dadurch können auch umfangreiche Dokumentationen effizient erschlossen werden, ohne dass der Anwender einzelne Kapitel oder Stichwörter selbst suchen muss.
Der primäre Anwendungsfall des Demonstrators liegt in der Unterstützung bei Installations-, Wartungs- und Bedienungsanleitungen. Als Demonstrationsbeispiel dienen Dokumentationen verschiedener Wärmepumpensysteme. Servicetechniker, Installateure oder Endanwender können beispielsweise Fragen zu Montageabläufen, Einstellungen, Fehlermeldungen oder Wartungsschritten stellen und erhalten unmittelbar passende Antworten auf Grundlage der ausgewählten Anleitung. Die Antworten basieren ausschließlich auf den Inhalten des jeweiligen Dokuments.
Die gesamte Anwendung arbeitet vollständig offline. Sowohl das Large Language Model als auch das Embedding Modell werden lokal ausgeführt und benötigen keinerlei Verbindung zu Cloud-Diensten oder externen Servern. Die Software wird als portable Single-Executable bereitgestellt und läuft auf einem handelsüblichen Consumer-PC mit leistungsfähiger Grafikkarte. Für Demonstrationszwecke ist die Hardware in einem kompakten, transportablen Rack-System integriert, wodurch der Demonstrator flexibel an unterschiedlichen Einsatzorten präsentiert werden kann.
Vorteile der Lösung
Das wesentliche Alleinstellungsmerkmal des Demonstrators ist der vollständig lokale Betrieb. Sämtliche Komponenten – Benutzeroberfläche, Dokumentenverarbeitung, Embedding-Modell und Sprachmodell – werden direkt auf dem Zielsystem ausgeführt. Dadurch verbleiben sämtliche Dokumente und Benutzereingaben ausschließlich auf dem lokalen PC. Dies ist insbesondere für Unternehmen mit hohen Anforderungen an Datenschutz, Vertraulichkeit oder den Betrieb in abgeschotteten Netzwerken von großem Vorteil.
Ein weiterer Vorteil besteht in der einfachen Bereitstellung der Lösung. Durch die portable Architektur als Single-Executable entfällt eine aufwendige Installation oder Serverinfrastruktur. Der Demonstrator kann unmittelbar auf geeigneten Windows-Systemen gestartet werden und eignet sich dadurch hervorragend für Vorführungen, Schulungen oder den mobilen Einsatz beim Kunden. Die kompakte Systemarchitektur reduziert gleichzeitig den administrativen Aufwand und erleichtert die Verteilung der Anwendung.
Ein besonderes Einsatzkonzept ergibt sich aus der vollständigen Offline-Fähigkeit. Die Anwendung kann beispielsweise gemeinsam mit technischen Dokumentationen auf einem USB-Stick ausgeliefert werden und dort als intelligenter Dokumentationsassistent dienen. Hersteller technischer Produkte könnten ihren Kunden damit einen interaktiven Offline-Chatbot als Ergänzung zur klassischen Bedienungsanleitung bereitstellen. Auch in Umgebungen ohne Internetzugang – etwa auf Baustellen, in Industrieanlagen oder sicherheitskritischen Bereichen – bleibt die Funktionalität uneingeschränkt erhalten.
Demonstrationsszenarien
Im ersten Demonstrationsszenario wird gezeigt, wie neue PDF-Dokumente in das System eingelesen und für die semantische Suche vorbereitet werden. Nach dem Import werden die Dokumente automatisch verarbeitet, in geeignete Textabschnitte aufgeteilt und über das Embedding-Modell indexiert. Dieser Prozess erfolgt einmalig für jedes Dokument und bildet die Grundlage für die spätere Beantwortung von Benutzeranfragen.
Im zweiten Szenario wählt der Anwender eine bestimmte Bedienungs- oder Installationsanleitung aus und stellt Fragen über die integrierte Chatoberfläche. Das System durchsucht die Dokumentation semantisch, identifiziert die relevanten Textstellen und erzeugt daraus eine verständliche Antwort auf Basis der Inhalte des ausgewählten Dokuments. Zur Gewährleistung einer hohen Nachvollziehbarkeit werden auch die zugrundeliegenden Quellen mit Kapitel- und Seitenangaben ausgegeben. Darüber hinaus kann das Originaldokument geöffnet werden, sodass Anwender die Informationen im vollständigen Kontext prüfen und für eine weiterführende Recherche nutzen können.
Der Demonstrator wird auf einem transportablen Rechnersystem mit leistungsfähiger Consumer-GPU betrieben und kann ohne Netzwerk- oder Internetanbindung eingesetzt werden. Dadurch lässt sich die Anwendung auf Messen, bei Kundenvorführungen, in Schulungen oder direkt vor Ort beim Anwender präsentieren und demonstriert gleichzeitig die Praxistauglichkeit eines vollständig lokalen KI-Systems.
Einsatzgebiete
Die Technologie eignet sich für alle Anwendungsbereiche, in denen umfangreiche technische Dokumentationen schnell und komfortabel durchsucht werden müssen. Dazu zählen insbesondere Bedienungsanleitungen, Installationshandbücher, Wartungsdokumentationen, Serviceunterlagen sowie technische Produktdokumentationen unterschiedlichster Branchen. Die natürliche Sprachinteraktion reduziert den Suchaufwand erheblich und erleichtert den Zugriff auf relevante Informationen.
Darüber hinaus kann vergleichbare Software in Unternehmen als interner Wissensassistent eingesetzt werden. Beispielsweise lassen sich Qualitätsmanagement-Dokumente, Arbeitsanweisungen, Betriebsrichtlinien oder interne Handbücher in das System integrieren. Mitarbeitende erhalten dadurch einen intuitiven Zugang zu vorhandenem Wissen, ohne komplexe Dokumentenstrukturen oder Suchfunktionen nutzen zu müssen.
Weitere Einsatzmöglichkeiten bestehen im Bildungs- und Schulungsbereich sowie im Kundensupport. Hersteller technischer Produkte können interaktive Offline-Assistenten für ihre Kunden bereitstellen, während Schulungseinrichtungen umfangreiche Lehrmaterialien in einem dialogorientierten System verfügbar machen. Durch den vollständigen Offline-Betrieb eignet sich die Lösung zudem für sicherheitskritische, datenschutzsensible oder netzwerkunabhängige Einsatzumgebungen, in denen cloudbasierte KI-Lösungen nicht eingesetzt werden können.